1

コース概要:GenAI時代における不確実性

PolyU COMP5511Lecture 5
00:04

レッスン5は、COMP5511における大きな転換点です。私たちは、古典的コンピューティングの決定論的論理と、初期の分類モデルの教師ありの確実性から離れ、 生成AIの確率論的核心へと進みます。本セッションでは、なぜ現代のAIモデルが「事実」ではなく 確率分布を出力するのかを探り、LLMが詩を書いたり、拡散モデルがノイズから絵を描いたりする仕組みを明らかにします。

1. パラダイムシフト:論理から確率へ

  • IF-THENを超えて:硬直的なルールから流動的な統計的尤度への移行。
  • 確実性の終焉:GenAIの結果が設計上 非決定的 である理由を理解する。
  • ツールとしての確率:「GenAI時代」が 不確実性を特徴として 創造性のために活用し、修正すべきバグとして扱わない方法。

2. 創造の確率論的エンジン

生成AIは、高次元の確率空間からのサンプリングに依存しています。テキストであれ画像であれ、モデルは不確実性を乗り越えて新規性を生み出します:

  • 大規模言語モデル(LLM):次のトークンを単一の選択肢としてではなく、 可能性の分布として予測する。
  • 拡散モデル:混沌とした ガウスノイズとして予測する。
  • サンプリングプロセス:反復的で「ロボット的な」出力を防ぐために、ランダム性がどのように活用されるか。

3. 予測不能な世界におけるエージェント

自律エージェントは「オープンワールド」を航海しなければなりません。そこでは、あらゆる行動が未知のリスクと報酬を伴います。

ハルシネーションのトレードオフ
純粋に決定論的なモデルは安全ですが、独創的な思考を欠いています。不確実性を受け入れることで創造性が可能になる一方で、 ハルシネーション(モデルがもっともらしいが虚偽の情報を自信を持って生成する現象)のリスクも生じます。
概念的なサンプリングロジック
1
Define functionGenerate_Response(Prompt,Temperature):
2
Calculateprobability distribution for all possible next tokens;
3
Adjust distribution based on Temperature(Higher = more diverse, Lower = more focused);
4
Select next token using Weighted Random Choice;
5
Repeat until completion.
Probabilistic Modeling
Modern AI views the world through the lens of statistics rather than binary truths.
Gallery Image